package com.doit.day01

import org.apache.hadoop.io.{IntWritable, Text}
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
 * @Author:
 * @WX: 17710299606
 * @Tips: 学大数据 ,到多易教育
 * @DOC: https://blog.csdn.net/qq_37933018?spm=1000.2115.3001.5343
 * @Description:
 * textFile 加载文本文件创建RDD
 *  1) 文件
 *  2) 文件夹
 *  3) 本地  HDFS
 */
object Demo03MakeRDDOtherFile {
  def main(args: Array[String]): Unit = {

       val  conf  = new SparkConf()
             .setMaster("local[*]")
             .setAppName(this.getClass.getSimpleName)
    val sc = SparkContext.getOrCreate(conf)

    /**
     * KV 相连的序列化文件
     * K V
     */

    val res: RDD[(Text, IntWritable)] = sc.sequenceFile("data/seq/", classOf[Text], classOf[IntWritable])
    res.foreach(println)
 /*   val data: RDD[String] = sc.textFile("data/words/")
    println(data.getNumPartitions)
    // 3 处理数据
    val res: RDD[(String, Int)] = data
      .flatMap(_.split("\\s+"))
      .groupBy(e => e)
      .mapValues(_.size)

    // 4 输出结果
    res.saveAsSequenceFile("data/seq/")*/

    sc.stop()








  }

}
